1.1 Initialisation

pour l’identification des langues on emploie texcat, l’annotation est réalisée avec cleanNLP, on emploie text2vec pour le LDA, pour la représentation des dépendances packcircles sera utile. Pour le détail du code on consultera le repo.

la lecture du fichier ne pose aucune difficulté, en voici les 7 premiers éléments pour avoir une idée de sa structure.

## Parsed with column specification:
## cols(
##   listing_id = col_double(),
##   id = col_double(),
##   date = col_date(format = ""),
##   reviewer_id = col_double(),
##   reviewer_name = col_character(),
##   comments = col_character()
## )

## # A tibble: 7 x 6
##   listing_id      id date       reviewer_id reviewer_name comments         
##        <dbl>   <dbl> <date>           <dbl> <chr>         <chr>            
## 1       2577  3.66e8 2019-01-02    28047930 Kate          "Beautiful apart~
## 2       5396  4.82e3 2009-06-30       19995 Sarah         Perfect location~
## 3       5396  4.97e3 2009-07-03       20117 Chris         This is a nice p~
## 4       5396  5.24e3 2009-07-08       22190 Annelaure     Nice studio, ver~
## 5       5396  9.62e3 2009-09-10       11947 Jean          "Superb location~
## 6       5396  1.90e4 2009-12-02       40625 Bette         Perfect place to~
## 7       5396  2.56e4 2010-02-07       50781 Amy           Wonderful hosts ~

1.2 Echantillonner les données pour mieux calibrer

Pour mettre au point les analyses, on s’appuie sur un échantillon restreint, on attaque que dans un temps final les 1 097 737 commentaires qui demanderons plusieurs heures de traitement. Certaines opérations ( détection des langues et annotation) demande un très long temps de calcul. Dans cette version, on se contente de 30 000 commentaires.

Pour se donner une idée plus précise de leur nature, on examine leur distribution dans le temps. Celle-ci illustre la croissance de la plateforme, mais plus encore, dans la mesure où ces commentaires se rapportent à l’offre disponible le 4 février 2019, l’ancienneté des offres dans l’inventaires de Airbnb.

En réalité il s’agit moins d’une série chronologique que d’une pyramide des ages. En effet les données résultent d’un processus marqué d’abord par la disparition des logements de l’inventaire de Airnb - le faible nombre des avis en 2010 et 2011, reflètent le fait que très peu d’offres proposées à cette période le sont encore à la date de l’étude, mais aussi par le fait u’à chaque période de nouvelles offres génèrent de nouveaux avis.

Une autre représentation est préférable, en pyramide des âge de l’offre. On s’aperçoit que la valeur centrale de l’age des annonces est de l’ordre de deux ans.( à calculer plus précisément )

df$year<-year(df$date)

g02<-df %>% 
  ggplot(aes(year)) + 
  geom_histogram(binwidth = 1,fill="royalblue3") + labs(title = "Pyramide des âges des annonces",caption = "AirBnb Inside",x="années",y="nombre d'avis") +coord_flip()+scale_x_continuous(breaks = c(2010, 2011, 2012, 2013, 2014, 2015, 2016, 2017, 2018, 2019))+theme_minimal()

g02

2.1 avec textcat

A cette fin on emploie le package textcat(Hornik et al. (2013)), qui s’appuie sur la distribution des ngrams propre à chaque langue et qui constituent en quelque sorte leur signature. Le principe est de calculer une distance entre la distribution des ngram du texte cible avec celle qui caractérise les langues.

calcul de distance à la langue

L’attribution à une langue se fait avec le critère de la plus faible distance de la cible.

On examinera la fiche wikipedia pour plus de détail sur l’utilisation des Ngrams en NLP.

#la détection de langue
df$langue<-textcat(df$comments) #attention c'est long - une bonne dizaines de minutes.

Incidemment on notera la domination des contenus en anglais (un peu plus de 60%) le français ne comptant que pour 22%, l’espagnol et l’allemand suivent avec moins de 5%. Dans la suite de l’exercise on se concentre sur le corpus anglophone, on laisse le soin au lecteur de reproduire l’analyse sur les autres langues.

On représente celà par une sorte de pyramide des ages composées par les langages. Le second diagramme donne les proportion d’avis par langue au cours de la période : on assiste à une forte diversication des langues. En 2010 les commentaires sont essentiellement en anglais, le français émerge en 2013 pour prendre un tiers des avis produits chaque année. Les autres langues progressent aussi et l’anglais cède du terrain pour ne plus représenter que la moitié des avis.

2.2 Les locuteurs

en compléments, il peut être utile de s’intéresser aux locuteurs pour lesquels on dispose de peu d’informations sinon leur pseudonymes.

On peut en tirer au moins une information sur le genre en matchant avec une table des prénoms. Il semblerait que les femmes contribuent plus que les hommes, mais parmi les prénoms plus fréquents, on retrouve plutôt des hommes.

3.1 Des éléments du discours

La composition en termes morphosyntaxique n’est pas forcément évidente à interprêter, il faudrait connaitre la distribution dans un corpus de référence. Mais cette annotation est cependant utile pour filtrer le contenu.

#library(cleanNLP)
text<-df_en$comments

cnlp_init_udpipe(model_name = "english")
obj <- cnlp_annotate(text, as_strings = TRUE)
head(cnlp_get_token(obj))

## # A tibble: 6 x 10
##   id      sid   tid word    lemma   upos  pos     cid   pid s_after
##   <chr> <int> <int> <chr>   <chr>   <chr> <chr> <int> <int> <chr>  
## 1 doc1      1     1 Anne    Anne    PROPN NNP       0     1 " "    
## 2 doc1      1     2 Laure   Laure   PROPN NNP       5     1 ""     
## 3 doc1      1     3 's      's      PART  POS      10     1 " "    
## 4 doc1      1     4 flat    flat    NOUN  NN       13     1 " "    
## 5 doc1      1     5 was     be      AUX   VBD      18     1 " "    
## 6 doc1      1     6 perfect perfect ADJ   JJ       22     1 " "

Vocab<-cnlp_get_token(obj)
Table <- with(Vocab, table(upos))
ling<-as.data.frame(Table)
g1<-ggplot(ling,aes(x=reorder(upos,Freq),y=Freq))+geom_bar(stat="identity",fill="darkgreen")+coord_flip()+theme_minimal()+theme(text = element_text(size=9))
g1+labs(title = "Fréquence des catégories morpho-syntaxique",caption = "AirBnb Inside",x="catégorie",y="nombre d'avis")

Nous pouvons désormais travailler sur un corpus linguistiquement plus homogène. On doit remarquer que le caractère cardinal du découpage est aussi fonction de convention. On pourrait imaginer une dectetion des langues plus fine qui prendrait en compte les dialectes. C’est le travail des linguistes que de produire des catégories pertinentes et nous nous fierons à leurs avancées.

3.2 verbes, noms communs et adjectif et adverbes

Le texte à l’état brut comporte de nombreux signes qui amènent peu de sens lexical : des point , des noms de lieux, des déterminants. La stratégie que nous engagons est différentes de cette de tm qui juxtapose : mise en minuscule, suppresion des ponctuactions, des mentions et des ref html, notre stratégie n’élimine pas mais se concentre sur les éléments lexicaux les plus signifiants. (au moins de manières premières, les autres éléments secondaires peuvent révéler des inflexions plus fines, comme l’usage de la ponctuation le permet - Proust l’aura démontré ref les coutures proust)

Il s’agira simplement des verbes, des noms propres, des adjectifs et des adverbes. On en présente les trois distributions.

• les noms communs mettent en tête des éléments liés aux logement, à sa localisation et son voisinage, aisi qu’au séjour et à l’accueil.
• Les qualificatifs sont très positifs et principalement expressifs, proche, propre et confortable en sont les attributs les plus fréquents
• Les verbes traduisent une intention : recommendation, des mouvements : stay, walk go et des transaction : get, need…

L’expérience reste largement inexprimée si ce n’est pas un jugement très positif qui nous incite à explorer dans une prochaine note les sentiments et émotions associées.